Indoor scenes typically exhibit complex, spatially-varying appearance from global illumination, making inverse rendering a challenging ill-posed problem. This work presents an end-to-end, learning-based inverse rendering framework incorporating differentiable Monte Carlo raytracing with importance sampling. The framework takes a single image as input to jointly recover the underlying geometry, spatially-varying lighting, and photorealistic materials. Specifically, we introduce a physically-based differentiable rendering layer with screen-space ray tracing, resulting in more realistic specular reflections that match the input photo. In addition, we create a large-scale, photorealistic indoor scene dataset with significantly richer details like complex furniture and dedicated decorations. Further, we design a novel out-of-view lighting network with uncertainty-aware refinement leveraging hypernetwork-based neural radiance fields to predict lighting outside the view of the input photo. Through extensive evaluations on common benchmark datasets, we demonstrate superior inverse rendering quality of our method compared to state-of-the-art baselines, enabling various applications such as complex object insertion and material editing with high fidelity. Code and data will be made available at \url{https://jingsenzhu.github.io/invrend}.

轻巧的飞行时间（TOF）深度传感器很小，便宜，低能量，并且已在移动设备上大量部署在移动设备上，以进行自动对焦，障碍物检测等。但是，由于其特定的测量值（深度分布）在某个像素时的区域而不是深度值，并且分辨率极低，它们不足以用于需要高保真深度（例如3D重建）的应用。在本文中，我们提出了Deltar，这是一种新颖的方法，可以通过与颜色图像合作来赋予高分辨率和准确深度的能力。作为Deltar的核心，提出了一种用于深度分布的特征提取器，并提出了基于注意力的神经体系结构，以有效地从颜色和TOF域中融合信息。为了在现实世界中评估我们的系统，我们设计了一个数据收集设备，并提出了一种校准RGB摄像头和TOF传感器的新方法。实验表明，我们的方法比旨在使用商品级RGB-D传感器的PAR性能实现的现有框架比现有的框架产生更准确的深度。代码和数据可在https://zju3dv.github.io/deltar/上获得。

虚拟内容创建和互动在现代3D应用中起着重要作用，例如AR和VR。从真实场景中恢复详细的3D模型可以显着扩大其应用程序的范围，并在计算机视觉和计算机图形社区中进行了数十年的研究。我们提出了基于体素的隐式表面表示Vox-Surf。我们的Vox-Surf将空间分为有限的体素。每个体素将几何形状和外观信息存储在其角顶点。 Vox-Surf得益于从体素表示继承的稀疏性，几乎适用于任何情况，并且可以轻松地从多个视图图像中训练。我们利用渐进式训练程序逐渐提取重要体素，以进一步优化，以便仅保留有效的体素，从而大大减少了采样点的数量并增加了渲染速度。细素还可以视为碰撞检测的边界量。该实验表明，与其他方法相比，Vox-Surf表示可以学习精致的表面细节和准确的颜色，并以更少的记忆力和更快的渲染速度来学习。我们还表明，Vox-Surf在场景编辑和AR应用中可能更实用。

最近，神经隐式渲染技术已经迅速发展，并在新型视图合成和3D场景重建中显示出很大的优势。但是，用于编辑目的的现有神经渲染方法提供了有限的功能，例如刚性转换，或不适用于日常生活中的一般物体的细粒度编辑。在本文中，我们通过编码神经隐性字段，并在网格顶点上编码神经隐式字段，并在网格顶点上编码纹理代码，从而促进了一组编辑功能，包括网格引导的几何形状编辑，指定的纹理编辑，纹理交换，纹理交换，，纹理交换，，纹理编辑，，纹理编辑，，纹理编辑，，纹理编辑，，纹理编辑，，纹理编辑，，纹理编辑，，纹理编辑。填充和绘画操作。为此，我们开发了几种技术，包括可学习的符号指标，以扩大基于网格的表示，蒸馏和微调机制的空间区分性，以稳定地收敛，以及空间感知的优化策略，以实现精确的纹理编辑。关于真实和合成数据的广泛实验和编辑示例都证明了我们方法在表示质量和编辑能力上的优越性。代码可在项目网页上找到：https：//zju3dv.github.io/neumesh/。

我们提出了场景运动的新颖双流表示，将光流分​​解为由摄像机运动引起的静态流场和另一个由场景中对象的运动引起的动态流场。基于此表示形式，我们提出了一个动态的大满贯，称为Deflowslam，它利用图像中的静态和动态像素来求解相机的姿势，而不是像其他动态SLAM系统一样简单地使用静态背景像素。我们提出了一个动态更新模块，以一种自我监督的方式训练我们的Deflowslam，其中密集的束调节层采用估计的静态流场和由动态掩码控制的权重，并输出优化的静态流动场的残差，相机姿势的残差，和反度。静态和动态流场是通过将当前图像翘曲到相邻图像来估计的，并且可以通过将两个字段求和来获得光流。广泛的实验表明，在静态场景和动态场景中，Deflowslam可以很好地推广到静态和动态场景，因为它表现出与静态和动态较小的场景中最先进的Droid-Slam相当的性能，同时在高度动态的环境中表现出明显优于Droid-Slam。代码和数据可在项目网页上找到：\ urlstyle {tt} \ textColor {url_color} {\ url {https://zju3dv.github.io/deflowslam/}}}。

将现有的旅游照片从部分捕获的场景扩展到完整的场景是摄影应用的理想体验之一。尽管对照片的外推进行了充分的研究，但是将照片（即自拍照）从狭窄的视野推断到更广阔的视野，同时保持相似的视觉样式是更具挑战性的。在本文中，我们提出了一个分解的神经重新渲染模型，以从混乱的户外互联网照片集中产生逼真的新颖观点，该视图可以使应用程序包括可控场景重新渲染，照片外推甚至外推3D照片生成。具体而言，我们首先开发出一种新颖的分解重新渲染管道，以处理几何，外观和照明分解中的歧义。我们还提出了一种合成的培训策略，以应对互联网图像中意外的阻塞。此外，为了推断旅游照片时增强照片现实主义，我们提出了一个新颖的现实主义增强过程来补充外观细节，该过程会自动传播质地细节，从狭窄的捕获照片到外推神经渲染图像。室外场景上的实验和照片编辑示例证明了我们在照片现实主义和下游应用中提出的方法的出色性能。

我们提出了一个新颖的圆锥视觉探针仪框架，称为PVO，以对场景的运动，几何形状和泛型分割信息进行更全面的建模。 PVO在统一的视图中模拟视觉探光仪（VO）和视频全景分割（VPS），从而使这两个任务能够相互促进。具体来说，我们将一个泛型更新模块引入VO模块，该模块在图像泛型分段上运行。该泛型增强的VO模块可以通过调整优化的相机姿势的权重来修剪相机姿势估计中动态对象的干扰。另一方面，使用摄像头姿势，深度和光流，通过将当前帧的圆形分割结果融合到相邻框架中，从而提高了VO-增强VPS模块，从而提高了分割精度。模块。这两个模块通过反复的迭代优化互相贡献。广泛的实验表明，PVO在视觉景观和视频综合分割任务中的最先进方法均优于最先进的方法。代码和数据可在项目网页上找到：\ urlstyle {tt} \ textColor {url_color} {\ url {https://zju3dv.github.io/pvo/pvo/}}}。

在本文中，我们提出了一个与RGB，深度，IMU和结构化平面信息融合的紧密耦合的大满贯系统。传统的基于稀疏点的大满贯系统始终保持大量地图点以建模环境。大量的地图点使我们具有很高的计算复杂性，因此很难在移动设备上部署。另一方面，平面是人造环境中的常见结构，尤其是在室内环境中。我们通常可以使用少量飞机代表大型场景。因此，本文的主要目的是降低基于稀疏点的大满贯的高复杂性。我们构建了一个轻巧的后端地图，该地图由几个平面和地图点组成，以相等或更高的精度实现有效的捆绑捆绑调整（BA）。我们使用统计约束来消除优化中众多平面点的参数，并降低BA的复杂性。我们将同构和点对平面约束的参数和测量分开，并压缩测量部分，以进一步有效地提高BA的速度。我们还将平面信息集成到整个系统中，以实现强大的平面特征提取，数据关联和全球一致的平面重建。最后，我们进行消融研究，并用模拟和真实环境数据中的类似方法比较我们的方法。我们的系统在准确性和效率方面具有明显的优势。即使平面参数参与了优化，我们也可以使用平面结构有效地简化后端图。全局捆绑捆绑调整的速度几乎是基于稀疏点的SLAM算法的2倍。

本文解决了从多视频视频中重建动画人类模型的挑战。最近的一些作品提出，将一个非刚性变形的场景分解为规范的神经辐射场和一组变形场，它们映射观察空间指向规范空间，从而使它们能够从图像中学习动态场景。但是，它们代表变形场作为转换矢量场或SE（3）字段，这使得优化高度不受限制。此外，这些表示无法通过输入动议明确控制。取而代之的是，我们基于线性混合剥皮算法引入了一个姿势驱动的变形场，该算法结合了混合重量场和3D人类骨架，以产生观察到的对应对应。由于3D人类骨骼更容易观察到，因此它们可以正规化变形场的学习。此外，可以通过输入骨骼运动来控制姿势驱动的变形场，以生成新的变形字段来动画规范人类模型。实验表明，我们的方法显着优于最近的人类建模方法。该代码可在https://zju3dv.github.io/animatable_nerf/上获得。

虽然3D人类重建方法使用像素对齐的隐式功能（PIFU）开发快速，但我们观察到重建细节的质量仍然不令人满意。扁平的面部表面经常发生在基于PIFU的重建结果中。为此，我们提出了一个双重PIFU表示，以提高重建的面部细节的质量。具体地，我们利用两只MLP分别代表面部和人体的PIFU。专用于三维面重建的MLP可以提高网络容量，并降低面部细节重建的难度，如前一级PIFU表示。要解决拓扑错误，我们利用3个RGBD传感器捕获多视图RGBD数据作为网络的输入，稀疏，轻量级捕获设置。由于深度噪声严重影响重建结果，我们设计深度细化模块，以减少输入RGB图像的引导下的原始深度的噪声。我们还提出了一种自适应融合方案来熔化身体的预测占用场和面部的预测占用场，以消除其边界处的不连续性伪影。实验证明了我们在重建生动的面部细节和变形体形状方面的效果，并验证了其优于最先进的方法。